Skip-gram

概述

Skip-gram 是 Word2Vec 提出的两种词向量训练模型之一，特点是使用中心词预测周围词，通常在实践中比 CBOW 效果更好。

关键内容

1. 工作原理：
2. 输入：中心词的向量表示
3. 输出：预测的上下文词

4. 用单个中心词来预测其窗口范围内的多个上下文词

5. 模型特点：

6. 在小数据集上效果更好
7. 对罕见词的处理能力更强

8. 产生的词向量质量通常高于 CBOW

9. 与 CBOW 对比：

10. Skip-gram 用中心词预测上下文词
11. CBOW 用上下文词预测中心词
12. Skip-gram 训练相对较慢，但对低频词表现更好

来源

• paper_09_word2vec — Word2Vec 论文介绍

相关

• Word2Vec — 所属模型
• CBOW — 对比模型
• 词向量 — 目标技术
• NLP — 应用领域